پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان پایتون [ویدئو]

سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before you Start

• درباره دوره About the Course

• پیش نیازهای دوره Course Prerequisites

محیط خود را تنظیم کنید Setup your Environment

• محیط توسعه جرقه Spark Development Environment

• کاربر ویندوز - پیش نیازهای نصب Spark Windows User - Spark Installation Prerequisites

• کاربر ویندوز - نصب Apache Spark Windows User - Installing Apache Spark

• کاربر ویندوز - IDE خود را تنظیم و آزمایش کنید Windows User – Set Up and Test your IDE

• کاربر مک - نصب Apache Spark Mac User - Installing Apache Spark

• کاربر مک - IDE خود را تنظیم و آزمایش کنید Mac User – Set Up and Test your IDE

• آپاچی کافکا را نصب و اجرا کنید Install and Run Apache Kafka

شروع کار با جریان ساختار یافته Spark Getting Started with Spark Structured Streaming

• مقدمه ای بر پردازش جریانی Introduction to Stream Processing

• Spark Streaming API - DSstream در مقابل جریان ساختاری Spark Streaming APIs - DStream Versus Structured Streaming

• ایجاد اولین برنامه پردازش جریان شما Creating your First Stream Processing Application

• مدل پردازش جریان در Spark Stream Processing Model in Spark

• کار با فایل ها و دایرکتوری ها Working with Files and Directories

• منابع جریان، سینک ها و حالت خروجی Streaming Sources, Sinks and Output Mode

• تحمل خطا و راه اندازی مجدد Fault Tolerance and Restarts

جریان جرقه با کافکا Spark Streaming with Kafka

• پخش از منبع کافکا Streaming from Kafka Source

• کار با کافکا سینک Working with Kafka Sinks

• برنامه جریان های چند پرس و جو Multi-Query Streams Application

• سریال سازی کافکا و سریال زدایی برای اسپارک Kafka Serialization and Deserialization for Spark

• ساخت سینک های Kafka AVRO Creating Kafka AVRO Sinks

• کار با منبع Kafka AVRO Working with Kafka AVRO Source

پنجره ها و مصالح Windowing and Aggregates

• دگرگونی های بی تابعیت در مقابل تحولات دولتی Stateless Versus Stateful Transformations

• زمان رویداد و پنجره Event Time and Windowing

• جمع کردن پنجره غلتشی Tumbling Window Aggregate

• واترمارک کردن ویندوز شما Watermarking your Windows

• حالت های واترمارک و خروجی Watermark and Output Modes

• پنجره کشویی Sliding Window

پردازش جریانی و پیوستن Stream Processing and Joins

• پیوستن جریان به منبع استاتیک Joining Stream to Static Source

• پیوستن به جریان به جریانی دیگر Joining Stream to Another Stream

• پخش واترمارک Streaming Watermark

• پخش جریانی اتصالات خارجی Streaming Outer Joins

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word